大規模言語モデル(LLM)を、優れたが汎用的な学者に例えます。この汎用的な人物を、臨床放射線科医や契約法務士のような専門家に変えるには、 モデル適応のスケールというスケールを進むことで、ゼロショットプロンプティングから深層ニューラルネットワークの修正までを定義します。ハードウェアの制約と 最先端(SOTA) 最先端の結果の要求とのバランスを取る必要があります。
主要な適応モード
- コンテキスト内学習(ICL):モデルは「凍結」された状態のままです。プロンプト内の例を観察することで、$P(y|x)$ を推定するよう学習します。高速ではありますが、高いばらつきや幻覚が生じやすい傾向があります。
- 整合性と安定性:本番レベルの信頼性に到達するには、スケールの右側へ移行する必要があります。ファインチューニングは、真実パターンからの逸脱を明示的にペナルティ化することで、より良い 人間の判断との整合性 を提供します。
- SOTAの目標:最高性能を達成するにはトレードオフを慎重に管理する必要があります。フルチューニングは最大限の制御を提供しますが、「災害的忘却」のリスクがある一方、 PEFT(パラメータ効率的ファインチューニング) ハードウェアに優しい中間的な選択肢を提供します。
現実世界の事例
医療アシスタントを考えてみましょう。 ICLでは、プロンプト内に3つの症状から診断への例を提示します。一方、 ファインチューニングでは、5万件の医療記録でモデルを訓練します。後者のモデルは、臨床用語を本質的に理解し、はるかに高い 一貫性と安定性を示すようになります。